面向持续学习：通过子空间调优减轻遗忘
🧭 持续学习 · 子空间约束微调 ★ 深度解读
UC Berkeley · Mila · McGill University · Université de Montréal · UMass Amherst
通过将权重更新限制在低能量奇异子空间，SST 有效减轻 LLM 微调中的灾难性遗忘
📌 工作参考价值（4 点）
- 在业务中微调 LLM 以适应新领域或任务时，可引入 SST 保护已有通用能力，避免上线后基础能力下降，尤其适用于需要持续更新的推荐/广告模型。
- SST 与优化器无关，只需对优化器最终更新做投影，可直接嵌入现有 SFT/RLHF 流程，无需修改损失函数或数据，工程实现成本低。
- 保护主导奇异方向可显著减少对基模型的 KL 漂移（2-4 倍），有助于保持输出分布的稳定性，对在线学习或 A/B 测试更友好。
- 在顺序学习多领域任务时，SST 能够累积能力而非互相覆盖，适合构建多能力融合的模型或专家合并场景。
局部支持学习：无需旧数据的持续学习与遗忘缓解
🧭 持续学习 · 灾难性遗忘缓解
Tel Aviv University · MIT CSAIL
提出 Local Support Learning，用 GMM 门控使 adapter 只在当前分布激活，无需旧数据缓解大模型灾难性遗忘
📌 工作参考价值（4 点）
- 对线上推荐/搜索模型做持续增量更新时，可用 LSL 的 adapter + GMM gate 结构：每个新数据周期训练新 adapter，gate 让 adapter 只在当前数据分布上激活，旧分布数据自动路由到原始权重，无需回放旧数据即可缓解遗忘。
- GMM 门控比普通 MLP classifier 更适合 OOD 拒绝，因其似然在训练分布外快速衰减。在推荐系统多任务/多领域路由中可借鉴：为每个领域/任务建 GMM 门控，实现软路由与分布漂移检测。
- 方法内存和计算高效，支持 7B 参数模型，可迁移到生成式推荐（如 Semantic ID 生成）的持续学习场景：新类目上线时只增加局部 adapter，不破坏旧类目生成能力。
- 工程实现上，GMM 的均值/方差可流式更新或 EMA 维护，避免存储原始激活，适合实时更新的推荐系统。
信息近端自蒸馏用于LLM持续学习
🧭 LLM 持续学习 · 信息约束自蒸馏
Georgia Institute of Technology · Imperial College London · Politecnico di Torino · UCL Centre for AI
提出iSDFT将教师视为预算信息源，在每步选择满足信息约束的最近分布，提升LLM持续学习中稳定性与可塑性的平衡
📌 工作参考价值（4 点）
- 在电商/推荐场景中，当用新数据微调LLM（如用于query理解、内容生成、推荐理由）时，可采用iSDFT的“信息预算”思想：对每个token动态决定从教师（新任务模型）吸收多少信息，避免新策略完全覆盖旧能力，尤其适合需要持续更新但必须维持基线性能的线上系统。
- 锚定冻结基础模型（frozen base policy）的做法可作为一个轻量正则化项加入现有微调损失，实现简单且可稳定训练，有助于在迭代推荐模型时控制累积漂移，减少对旧用户行为模式的遗忘。
- 闭合形式的指数目标（exponential tilting）无需额外优化循环，工程实现成本低，可直接用于LLM4Rec的在线学习或定期更新，平衡稳定性和塑性。
- 该方法对多任务、多模态的推荐系统持续学习有借鉴意义：可以按任务重要度设置不同的教师信息约束，实现可控的旧知识保留和新知识注入。
文档应该存在哪里：上下文、表示还是参数？
🧭 知识注入位置对比 · KV vs LoRA ★ 深度解读
Amazon AGI
系统对比知识注入三种位置，Cartridges(KV)在多文档检索中唯一匹配 ICL，但高压缩下有遗忘
📌 工作参考价值（4 点）
- 电商/搜索的高频文档（商品详情、活动规则、广告素材）可以预计算成 KV-cache adapter（Cartridge）在线复用，避免每次查询重复 prefill 原文；20× 压缩下加载 10 个 adapter 约 30–50ms，10× token 减少约带来 100× prefill FLOPs 下降，适合低延迟在线服务。
- 多文档组合场景下，不要用「每个文档训一个 LoRA 再合并」替代检索，尤其信息密集任务；论文显示一个 distractor 就能让合并效果崩溃（FinQA k=3 时 34.5→4.9）。若必须用参数化方式，joint training 优于 adapter merging，但仍不如可拼接的 KV-cache。
- 训练知识注入 adapter 时，用蒸馏目标（teacher = 原文 in context，student = adapter）比普通 next-token CE 平均高 4 个点，在数值推理/金融类任务上收益更大；可直接迁移到商品属性提取、活动规则问答等场景。
- 上线前要评估通用能力退化：LoRA 低秩约束更稳，full FT 和大 MLP adapter 遗忘严重；如果使用 Cartridge，可考虑用 Compaction 初始化 KV cache 来缓解 HumanEval 类代码能力下降（论文中下降了 16 点）。
合成数据何时有害：LLM Agent技能检索中的灾难性遗忘
🧭 LLM Agent 技能检索 · LoRA 遗忘缓解 ★ 深度解读
Manulife
在34,396技能规模上，朴素LoRA合成数据微调会遗忘真实/OOD任务；保守正则可保持OOD并提升分布内召回13.98%。
📌 工作参考价值（4 点）
- 在电商/广告召回或相关性模型微调中，真实点击/转化标注通常远少于曝光；若用LLM合成训练样本，优先选择低秩保守LoRA（如r=8、attn-only、lr=5e-6）并加LwF/EWC/anchor/L2-init正则，可降低真实流量OOD掉点风险。
- 上线评估必须拆OOD真实query：不能只看合成集指标。论文中激进LoRA在合成Ring提升，但真实Ring 3 Recall@10从0.850跌至0.650；因此要单独监控自然流量、长尾类目、未参与训练的场景。
- 轻量0.6B bi-encoder在技能检索上可匹配4B+BM25 hybrid（HIT@10=0.907），搜索/推荐召回侧可用小模型+FAISS降低成本；微调稳定性主要由LoRA rank控制，anchor weight影响较小，优先调rank。
- retriever与reranker分数融合可采用per-query min-max归一化后线性加权α；BM25等稀疏召回用RRF融合，避免不同分数尺度校准问题。
持续学习机制组合实现长期记忆
🧭 持续学习机制组合与长期记忆
Johns Hopkins University
组合数据/函数/权重 anchor 与 merged LoRA 将 100 任务顺序微调平均保留率从 1.2% 提升至 34.9%
📌 工作参考价值（4 点）
- 模型需要持续更新商品目录或用户行为时，可采用 merged LoRA 为每个新任务/新领域分配独立低秩矩阵，避免直接覆盖全量参数，再定期合并或推理时加权组合，减少灾难性遗忘。
- 借鉴 data anchor：在每次更新时混入少量历史代表样本（或合成回放），即使无法保存完整旧数据，也能显著提升长期保留率；对电商场景可保存高价值/长尾样本的小型 memory buffer。
- 多种机制存在超加性交互，尤其 data anchor + merged LoRA。工程实现上不要单独评估单一策略，应组合验证，并使用 factorial 实验量化主效应与交互作用。
- 任务级 successive halving 搜索设计空间成本可控，适合在业务中快速筛选持续学习策略组合，再投入完整训练。
Omega-S：仅用权重矩阵的正则项缓解 LLM 微调遗忘
🧭 LLM 持续学习防遗忘正则化
Biome Makers Inc.
仅从权重矩阵计算拓扑正则项，无需旧任务数据或旧权重，使 LoRA 微调保留率从 62.9% 提升至 84.1%
📌 工作参考价值（4 点）
- 轻量微调防遗忘：在电商/搜索推荐模型进行领域微调时，可作为一个无数据依赖的正则项，避免基础能力衰退，只需在训练循环中添加三行代码，额外开销小于 4%。
- 简化实现路径：论文揭示实际有效成分是节点度方差惩罚，业务中可直接实现该方差项，无需完整拓扑构建，降低工程复杂度。
- 适配 LoRA 微调场景：方法在 LoRA 微调下验证有效，适合当下主流的高效微调范式，可直接嵌入现有推荐模型微调流程，防止对新任务过拟合而丢失原推荐质量。
- 基线对比价值：提供了与 weight decay、EWC 的详细对比，若需在业务中引入持续学习正则，可优先尝试 Omega-S 简化版。
自动任务排序实现多策略 LLM 高效训练
🧭 参数高效微调 · 任务分组与排序
The Alan Turing Institute · University of Southampton · King’s College London
提出自动化任务分组与排序框架，用独立 QLoRA 解耦优化路径，在固定参数预算下提升异构任务微调性能
📌 工作参考价值（4 点）
- 多任务微调的任务组织：面对电商搜索、推荐等异构任务（如语义相关性、点击率预估、不良内容检测），可借鉴任务分组与排序策略，将相容任务归入同一适配路径，减少梯度干扰和灾难性遗忘。
- 多 LoRA 替代单一大适配器：使用多个小型 QLoRA 替代一个共享适配器，每个策略只服务一组相容任务，既控制总参数量又提升表达能力，适合需同时维护多个小模型的业务场景（如多国、多站点推荐）。
- 自动化任务路径组织：在固定参数预算下，通过自动分组和排序决定适配器分配，避免人工经验试错，该流程可直接迁移到 Agent 工具调用或意图识别等多能力微调中。
- 工程实现简洁：每个任务组对应一个 QLoRA 模块，推理时按路由加载，与 LoRA 生态兼容，便于在已有 PEFT 框架上扩展，适合快速实验和部署。
面向量化金融大模型的稳定性感知记忆编辑器
🧭 量化LLM的序列记忆编辑稳定性
Indian Institute of Technology Madras, Chennai, India · University of Birmingham, Birmingham, United Kingdom
提出CACHE-UK框架，通过低秩适配器、领域优先模块和稳定性控制器，缓解4-bit量化LLM在序列编辑中的灾难性遗忘
📌 工作参考价值（4 点）
- 量化推荐模型的实时事实更新：在电商推荐中，商品信息（价格、库存、描述）频繁变化，可在4-bit量化部署的LLM推荐模型上借鉴CACHE-UK的rank-1 LoRA机制，将更新隔离在低秩子空间，避免全参数扰动引起的推荐质量雪崩。
- 抗遗忘的增量知识注入：稳定性控制器跟踪“退化债务”的理念可迁移到推荐模型的持续学习，当新商品或活动上线时，通过闭环监控减少对已有用户兴趣建模的覆盖。
- 内容自适应的编辑强度：领域优先模块根据输入内容调整编辑幅度，可类比于推荐中不同物品类型（爆款 vs. 长尾）采用差异化的更新步长，提升精细控制。
- 低资源下的工程可行性：整套框架专为量化模型设计，适合边缘推理或低延迟场景，可参考其适配方案让推荐模型的在线事实更新更省资源。
MemSFT：用外部参数化记忆缓解大模型领域微调的对齐税
🧭 领域专精 · 外部参数化记忆 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Tsinghua University
通过外部参数化记忆和token级动态路由器，在不修改基座模型参数的前提下注入领域知识，完全避免通用能力遗忘
📌 工作参考价值（4 点）
- 记忆训练范式：利用领域数据构建 kNN 检索的 soft label 作为教师分布，结合 KL 散度和交叉熵训练一个独立的 Memory LM，避免直接微调基座模型，可向电商搜索/推荐 LLM 注入商品、规则等新知识而不损害通用对话与推理能力。
- 动态路由器设计：轻量两层 MLP 以基座和记忆的隐藏状态及输出置信度/熵为特征，预测 token 级融合权重；训练时混合领域与通用数据并加入符号正则，自动学习何时依赖记忆，适用于生成推荐理由、推送文案等需要专业性与通用性平滑拼接的场景。
- 记忆复用：同一记忆模块可在共享 tokenizer 的不同规模基座模型上即插即用，无需重训；在电商多模型矩阵中，可一次训练商品知识记忆，供多款 LLM 部署使用，显著降低维护成本。
- 工程成本：训练一个 8B 记忆和路由器的 FLOPs 仅占全量 SFT 的一小部分（如四个基座模型总成本仅 0.22 倍），适合快速迭代注入新业务线知识。
通过表示锚定和语言-动作对齐实现可泛化的VLA微调
🧭 具身Agent微调：表示蒸馏与动作离散化
University of Illinois Urbana-Champaign · Texas A&M University · University of California, Irvine
提出Anchor-Align，用表示锚定和语言-动作对齐防止VLA微调中的灾难性遗忘，提升机器人操作泛化能力
📌 工作参考价值（4 点）
- 多模态对话Agent的连续动作离散化：可将连续动作空间（如推荐系统中的出价、调价）转化为离散方向标签，与语言生成任务联合训练，提升策略的对齐性和解释性。
- 微调中防止预训练表示遗忘：在电商搜索LLM微调时，可引入表示锚定损失（蒸馏冻结模型的中间层），保留通用语义知识，提升OOD泛化能力。
- 离线强化学习/模仿学习的稳定性：对于从日志数据模仿推荐的Agent，该方法可防止分布漂移，尤其适用于长期序列决策的推荐场景。
- 主要用于具身智能，电商直接迁移有限：核心贡献在机器人控制，但其中表示蒸馏和离散动作对齐的思想可跨领域借鉴。
通过模型合并提升对话检索中的即席搜索有效性
🧭 对话式检索 · 模型合并
University of Toulouse, IRIT
无需微调，通过参数合并融合即席与对话检索能力，零样本NDCG@3提升最高15%
📌 工作参考价值（4 点）
- 当电商搜索需要同时支持多轮对话与常规即席查询时，可直接合并对话微调模型与基础检索模型，避免重新训练和灾难性遗忘，节省大量资源。
- 使用线性（Model Soup）或球面插值（Slerp）两种合并策略，工程实现简单，可作为多任务模型部署的轻量级方案。
- 在零样本场景下，合并模型对未见过的查询表现出更好泛化性，适合快速应对新领域或冷启动的检索需求。
- 该方法提供了一种模型能力组合的思路，可借鉴用于融合不同业务场景（如推荐与搜索）下的微调模型，提升单一模型的综合表现。
UI-MOPD：面向持续GUI智能体学习的多平台在线蒸馏方法
🧭 GUI Agent 持续学习与跨平台适应
Tsinghua Shenzhen International Graduate School, Tsinghua University · Xiaomi · Harbin Institute of Technology, Shenzhen · Zhejiang University · Peng Cheng Laboratory
提出多教师在线蒸馏持续学习框架，动态选择平台教师，缓解跨平台GUI智能体的灾难性遗忘与行为冲突
📌 工作参考价值（4 点）
- 电商多端（APP/PC/小程序）自动化运营 Agent 可采用多教师在线蒸馏，避免不同平台操作惯例冲突，保留端侧特有行为模式，减少为每端单独维护模型的成本。
- 平台条件蒸馏通过环境信号动态路由选择特定教师，能使统一策略模型灵活适应多端环境，适合搜索推荐系统中跨端交互流程的自动化。
- 构建跨平台操作轨迹数据时，可借鉴 Uni-GUI 的收集策略（如多源采集、平台覆盖、操作可执行性过滤），提升训练数据质量与平台泛化性。
- 策略回放机制可迁移至电商 Agent 的持续学习中，防止新增端侧任务时旧端侧能力的灾难性遗忘。
越密集不等于越好：持续后训练中同策略自蒸馏的局限性
🧭 持续学习 · 自蒸馏 vs RL 优化
Centre for Artificial Intelligence and Robotics, HKISI, CAS · Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Nanjing University of Science and Technology
同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃，而GRPO等保守RL方法更稳健
📌 工作参考价值（4 点）
- 持续更新模型时避免密集自蒸馏：在电商搜索推荐场景，如果用LLM持续学习新品类或新意图，采用SDPO等密集自蒸馏会显著遗忘旧知识，应改用GRPO等更保守的on-policy RL方法。
- 监控参数与响应漂移：自蒸馏会导致更大的参数空间和输出分布漂移，可设置漂移阈值，一旦检测到骤变即回滚或降低学习率。
- 警惕格式退化：自蒸馏的token级监督会通过自我强化循环放大高频格式伪影（如固定模板、重复短语），在生成推荐理由或广告文案时易导致风格单一化，可引入多样性约束或温度调节。
- 同策略数据非万能：不要以为只用当前策略生成的数据就能稳定持续学习，需要结合重放缓冲或正则化手段保持旧任务能力。
超越均匀遗忘：顺序直接偏好优化的跨设置研究
🧭 多目标顺序对齐中的遗忘分析
University of Western Australia · Macquarie University
顺序DPO的遗忘模式非均匀，取决于目标关系、信号强度与训练顺序，可退化、稳定或正迁移
📌 工作参考价值（4 点）
- 多目标顺序微调时的风险意识：在电商推荐中，若对LLM使用顺序DPO注入多个偏好（如点击率、转化率、多样性），后续目标可能削弱前期偏好，但削弱程度取决于目标间冲突程度。可提前评估目标兼容性，将冲突强的目标并行训练，或把重要目标放在后期。
- 监控不能只看聚合指标：像本文一样做 pair-level 和置信度分层的分析，否则整体 win-rate 可能掩盖高置信度样本的退化。在推荐模型中，对关键用户群体的偏好变化应单独追踪。
- 梯度正交性揭示遗忘并非直接干扰：文章发现后期更新方向与前期目标近乎正交，说明简单的梯度冲突缓解可能无效。可尝试通过少量回放前期偏好数据或约束表示空间，而不必依赖梯度正交化来防遗忘。
- 信号强度决定稳定性：强安全信号容易在后续训练中保持，弱信号易被覆盖。在推荐系统中，重要的底线目标（如安全、品牌安全）应使用强信号优先训练，或增大其损失权重。
稳定恢复流形：持续学习中灾难性遗忘的几何原理
🧭 持续学习灾难性遗忘的几何分析
发现遗忘的知识保存在约 8 维低秩子空间，遗忘是几何可及性问题而非信息损毁。
📌 工作参考价值（4 点）
- 对电商推荐模型持续更新：旧知识未真正消失，可以通过低秩子空间访问，不必全量重训，可设计轻量适配器恢复旧任务性能，降低频繁全量更新的成本。
- 对 Agent 多任务学习：遗忘后通过主角度对齐就能大幅恢复性能，提示我们在微调 Agent 策略时保留旧策略的低维流形方向，可构建更稳健的持续学习系统。
- 对生成式推荐（如 Semantic ID 生成）：模型更新后旧 item ID 生成能力仍存于低维子空间，可恢复旧码本映射，避免冷启动和遗忘。
- 主要学术贡献，业务可借鉴点在于遗忘可逆性的认知转变，具体工程落地仍需进一步验证。
SeqLoRA：持续多概念生成的双层正交适配方法
🧭 持续多概念扩散模型正交 LoRA 微调
Uppsala University · ETH Zurich
通过双层优化联合学习 LoRA 因子，在持续学习新概念时强制正交约束，最小化灾难性遗忘和组合干扰
📌 工作参考价值（4 点）
- 持续多任务 LoRA 微调范式：当需要在电商场景中不断引入新商品概念或新用户画像时，可借鉴 SeqLoRA 顺序微调而不遗忘旧知识，避免每次重新训练或复杂融合。
- 双层优化稳定子空间：底层更新 LoRA 基（A）保持跨任务共享，上层学习任务特定系数（B），并加入正交约束，适合推荐系统中多类目 Embedding 的增量学习，减少特征干扰。
- 正交正则化抗遗忘：在 Agent 多技能训练中，强制新技能 LoRA 与旧技能正交，可防止技能间干扰，提升持续学习效果。
- 残差能量最小化：理论表明最小化残差干扰能量比冻结基方法更优，可迁移到序列推荐或多轮对话的状态更新中，通过正则化残差保持历史信息。
通过损失自适应学习率实现不遗忘的微调
🧭 损失自适应学习率缓解微调遗忘 ★ 深度解读
University of California San Diego
提出与训练损失平方根成反比的学习率调度，在保持新任务性能的同时，平均减少93%的灾难性遗忘。
📌 工作参考价值（4 点）
- 在电商客服或推荐解释的LLM微调中，可直接用FINCH代替常规余弦调度，无需修改目标函数或准备回放数据，即可保持模型在通用对话、推理等能力上的性能。
- 做新知识注入（如新品信息、新政策）时，FINCH能大幅减轻幻觉率上升和校准退化，比单纯的小学习率或LoRA更优。
- 方法实现简单：只需在训练循环中维护损失指数滑动平均，并据此计算每步学习率，与AdamW兼容，引入超参数少（仅ηbase和ηmax），适合快速工程落地。
- 对于需要持续微调但预训练数据不可访问的场景（如多轮对齐优化），FINCH提供了一种廉价的数据遗忘控制手段，可避免模型在反复更新中能力坍塌。
InfoSFT：信息感知的令牌加权，学得更多，忘得更少
🧭 Training ★ 深度解读
University of Pennsylvania · University of Southern California
提出基于模型置信度的令牌加权规则，为中等置信度令牌分配最高权重，提升泛化并减轻灾难性遗忘
TFGN：无需任务标签与回放的LLM级持续预训练架构
🧭 Training ★ 深度解读
Independent Researcher
提出一种内部架构叠加层TFGN，在无回放、无任务ID的条件下，实现LLaMA 3.1 8B等多尺度的近零灾难性遗忘与>99.59%的梯度正交性